تا به امروز نرم افزارهاي تجاري و آموزشي فراواني براي داده كاوي در حوزه هاي مختلف داده ها به دنياي علم و فناوري عرضه شده اند. هريك از آنها با توجه به نوع اصلي داده هايي كه مورد كاوش قرار ميدهند، روي الگوريتمهاي خاصي متمركز شده اند. مقايسه دقيق و علمي اين ابزارها بايد از جنبه هاي متفاوت و متعددي مانند تنوع انواع و فرمت داده هاي ورودي، حجم ممكن براي پردازش داده ها، الگـوريتمهای پياده سـازي شده، روشهاي ارزيابي نتايج، روشهاي مصـور سـازي، روشهاي پيش پردازش داده ها، واسطهاي كاربر پسند، پلت‌فرمهاي سازگار براي اجرا،قيمت و در دسترس بودن نرم افزار صورت گيرد. از آن ميان، نرم افزار Weka با داشتن امكانات بسيار گسترده،امكان مقايسه خروجي روشهاي مختلف با هم، راهنماي خوب، واسط گرافيگي كارا، سازگاري با ساير برنامه هاي ويندوزي، و از همه مهمتر وجود كتابي بسيار جامع و مرتبط با آن [Data Mining, witten et Al. 2005 ] ، معرفي ميشود.

1- معرفی نرم افزار Weka

ميزكارWeka ، مجموع‌هاي از الگوريتمهاي روز يادگيري ماشيني و ابزارهاي پيش پردازش داده‌ها ميباشد. اين نرم‌افزار به گونه‌اي طراحي شده است كه ميتوان به سرعت، روشهاي موجود را به صورت انعطافپذيري روي مجموعه‌هاي جديد داده، آزمايش نمود. اين نرم‌افزار، پشتيباني‌هاي ارزشمندي را براي كل فرآيند داده كاوي هاي تجربي فراهم ميكند. اين پشتيباني‌ها، آماده سازي داده‌هاي ورودي، ارزيابي آماري چارچوبهاي يادگيري و نمايش گرافيكي داده‌هاي ورودي و نتايج يادگيري را در بر ميگيرند. همچنين، هماهنگ با دامنه وسيع الگوريتمهاي يادگيري، اين نرم‌افزار شامل ابزارهاي متنوع پيش پردازش داده‌هاست. اين جعبه ابزار متنوع و جامع، از طريق يك واسط متداول در دسترس است، به نحوي كه كاربر ميتواند روشهاي متفاوت را در آن با يكديگر مقايسه كند و روشهايي را كه براي مسايل مدنظر مناسبتر هستند، تشخيص دهد.

 تا به امروز نرم افزارهاي تجاري و آموزشي فراواني براي داده كاوي در حوزه هاي مختلف داده ها به دنياي علم و فناوري عرضه شده اند. هريك از آنها با توجه به نوع اصلي داده هايي كه مورد كاوش قرار ميدهند، روي الگوريتمهاي خاصي متمركز شده اند. مقايسه دقيق و علمي اين ابزارها بايد از جنبه هاي متفاوت و متعددي مانند تنوع انواع و فرمت داده هاي ورودي، حجم ممكن براي پردازش داده ها، الگـوريتمهای پياده سـازي شده، روشهاي ارزيابي نتايج، روشهاي مصـور سـازي، روشهاي پيش پردازش داده ها، واسطهاي كاربر پسند، پلت‌فرمهاي سازگار براي اجرا،قيمت و در دسترس بودن نرم افزار صورت گيرد. از آن ميان، نرم افزار Weka با داشتن امكانات بسيار گسترده،امكان مقايسه خروجي روشهاي مختلف با هم، راهنماي خوب، واسط گرافيگي كارا، سازگاري با ساير برنامه هاي ويندوزي، و از همه مهمتر وجود كتابي بسيار جامع و مرتبط با آن [Data Mining, witten et Al. 2005 ] ، معرفي ميشود.

1- معرفی نرم افزار Weka

ميزكارWeka ، مجموع‌هاي از الگوريتمهاي روز يادگيري ماشيني و ابزارهاي پيش پردازش داده‌ها ميباشد. اين نرم‌افزار به گونه‌اي طراحي شده است كه ميتوان به سرعت، روشهاي موجود را به صورت انعطافپذيري روي مجموعه‌هاي جديد داده، آزمايش نمود. اين نرم‌افزار، پشتيباني‌هاي ارزشمندي را براي كل فرآيند داده كاوي هاي تجربي فراهم ميكند. اين پشتيباني‌ها، آماده سازي داده‌هاي ورودي، ارزيابي آماري چارچوبهاي يادگيري و نمايش گرافيكي داده‌هاي ورودي و نتايج يادگيري را در بر ميگيرند. همچنين، هماهنگ با دامنه وسيع الگوريتمهاي يادگيري، اين نرم‌افزار شامل ابزارهاي متنوع پيش پردازش داده‌هاست. اين جعبه ابزار متنوع و جامع، از طريق يك واسط متداول در دسترس است، به نحوي كه كاربر ميتواند روشهاي متفاوت را در آن با يكديگر مقايسه كند و روشهايي را كه براي مسايل مدنظر مناسبتر هستند، تشخيص دهد.

اين سيستم به زبان جاوا نوشته شده و بر اساس ليسانس عمومي و فراگير GNU انتشار يافته است.Weka تقريباً روي هر پلت فرمي اجرا ميشود و نيز تحت سيستم عاملهاي لينوكس، ويندوز، و مكينتاش، و حتي روي يك منشي ديجيتالي شخصي، آزمايش شده است.

اين نرم افزار، يك واسط همگون براي بسياري از الگوريتمهاي يادگيري متفاوت، فراهم كرده است كه از طريق آن روشهاي پيش پردازش، پس از پردازش و ارزيابي نتايج طرح هاي يادگيري روي همه مجموعه هاي داده موجود، قابل اعمال است.

نرم افزار Weka ، پياده سازي الگوريتمهاي مختلف يادگيري را فراهم ميكند و به آساني ميتوان آنها را به مجموعه هاي داده خود اعمال كرد.

  همچنين، اين نرم افزار شامل مجموعه متنوعي از ابزارهاي تبديل مجموعه‌هاي داده ها، همانند الگوريتمهاي گسسته سازي ميباشد. در اين محيط ميتوان يك مجموعه داده را پيش پردازش كرد، آن را به يك طرح يادگيري وارد نمود، و دسته‌بندي حاصله و كارآيي‌اش را مورد تحليل قرار داد.( همه اين كارها، بدون نياز به نوشتن هيچ قطعه برنامه‌اي ميسر است.)

  اين محيط، شامل روشهايي براي همه مسايل استاندارد داده كاوي مانند رگرسيون، رده‌بندي، خوشه‌بندي، كاوش قواعد انجمني و انتخاب ويژگي ميباشد. با در نظر گرفتن اينكه، داده‌ها بخش مكمل كار هستند، بسياري از ابزارهاي پيش پردازش داده‌ها و مصورسازي آنها فراهم گشته است. همه الگوريتم ها، وروديهاي خود را به صورت يك جدول رابطهاي به فرمت ARFF دريافت ميكنند. اين فرمت داده‌ها، ميتواند از يك فايل خوانده شده يا به وسيله يك درخواست از پايگاه دادهاي توليد گردد.

يكي از راههاي به كارگيري Weka ، اعمال يك روش يادگيري به يك مجموعه داده و تحليل خروجي آن براي شناخت چيزهاي بيشتري راجع به آن اطلاعات ميباشد. راه ديگر استفاده از مدل يادگيري شده براي توليد پيشبيني‌هايي در مورد نمونه‌هاي جديد است. سومين راه، اعمال يادگيرنده‌هاي مختلف و مقايسه كارآيي آنها به منظور انتخاب يكي از آنها براي تخمين ميباشد. روشهاي يادگيري Classifier ناميده ميشوند و در واسط تعاملي Weka ، ميتوان هر يك از آنها را از منو انتخاب نمود. بسياري از classifier ها پارامترهاي قابل تنظيم دارند كه ميتوان از طريق صفحه ويژگي‌ها يا object editor به آنها دسترسي داشت. يك واحد ارزيابي مشترك، براي اندازه‌گيري كارآيي همه classifier به كار ميرود.

پياده سازيهاي چارچوبهاي يادگيري واقعي، منابع بسيار ارزشمندي هستند كه Weka فراهم مي كند. ابزارهايي كه براي پيش پردازش داده‌ها استفاده ميشوند Filter ناميده ميشوند. همانند classifier ها، ميتوان filter ها را از منوي مربوطه انتخاب كرده و آنها را با نيازمنديهاي خود، سازگار نمود. در ادامه، به روش به كارگيري فيلترها اشاره ميشود.

  علاوه بر موارد فوق، Weka شامل پياده سازي الگوريتمهايي براي يادگيري قواعد انجمني، خوشه‌بندي داده‌ها در جايي كه هيچ دست‌هاي تعريف نشده است، و انتخاب ويژگيهاي مرتبط در داده‌ها ميباشد.

تعداد صفحات :80

فرمت فایل : Word

با افزايش چشمگير حجم اطلاعات و توسعه وب، نياز به روش ها و تکنيک هايي که بتوانند امکان دستيابي کارا به داده‌ها و استخراج اطلاعات از آنها را فراهم کنند، بيش از پيش احساس مي شود. وب کاوي يکي از زمينه هاي تحقيقاتي است که با به کارگيري تکنيک هاي داده کاوي به کشف و استخراج خودکار اطلاعات از اسناد و سرويس‌هاي وب مي پردازد. در واقع وب کاوي، فرآيند کشف اطلاعات و دانش ناشناخته و مفيد از داده هاي وب مي باشد. روش هاي وب کاوي بر اساس آن که چه نوع داده اي را مورد کاوش قرار مي دهند، به سه دسته کاوش محتوای وب، کاوش ساختار وب و کاوش استفاده از وب تقسيم می شوند.  طي اين گزارش پس از معرفی وب کاوي و بررسی مراحل آن، ارتباط وب کاوي با ساير زمينه هاي تحقيقاتي بررسي شده و به چالش ها، مشکلات و کاربردهای اين زمينه تحقيقاتي اشاره مي شود. همچنين هر يک از انواع وب کاوي به تفصيل مورد بررسي قرار مي گيرند که در این پروژه بیشتر به وب کاوی در صنعت می پردازم. براي اين منظور مدل ها، الگوريتم ها و کاربردهاي هر طبقه معرفي مي شوند.

فصل اول:مقدمه

مقدمه. 1

فصل دوم:داده کاوی

2- 1 مقدمه ای بر داده کاوی.. 6

2-1-1 چه چيزی سبب پيدايش داده کاوی شده است؟. 7

2-2 مراحل کشف دانش... 9

2- 3 جایگاه داده کاوی در میان علوم مختلف.. 12

2-4 داده کاوی چه کارهایی نمی تواند انجام دهد؟. 14

2-5 داده کاوی و انبار داده ها 14

2-6 داده کاوی و OLAP. 15

2-7 کاربرد یادگیری ماشین و آمار در داده کاوی.. 16

2-8 توصیف داده ها در داده کاوی.. 16

2-8-1 خلاصه سازی و به تصویر در آوردن داده ها 16

2-8-2 خوشه بندی.. 17

2-8-3 تحلیل لینک... 18

2-9 مدل های پیش بینی داده ها 18

2-9-1 دسته بندی.. 18

2-9-2 رگرسیون.. 18

2-9-3 سری های زمانی.. 19

2-10 مدل ها و الگوریتم های داده کاوی.. 19

2-10-1 شبکه های عصبی.. 19

2-10-2 درخت تصمیم. 22

2-10-3 Multivariate Adaptive Regression Splines(MARS) 24

2-10-4 Rule induction. 25

2-10-5 K-nearest neibour and memory-based reansoning(MBR)